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I. ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ 

Актуальность темы. Одним из важнейших приложений теории 
алгоритмов является уточнение понятий сложности и 
случайности. Определение сложности (■ энтропии) конечного 
объекта бы о предложено А.Н.Колмогоровым в 1966 г. і]. Оно 
позволило говорить об энтропии и количестве информации 
применительно к индивидуальным объектам ( а не к случайным 
величинам, как это делается в теории вероятностей ). 

После появления работы Колмогорова появились и другие 
алгоритмические варианты понятия энтропии - энтропия (слож¬ 
ность) разрешения ( см. [ 2 ] ), префиксная энтропия, монотон¬ 
ная энтропия (см. [^2, 3^). Применение понятия энтропии к 
вычислимым функциям (а не к конечным объектам) было предло- 

1. Колмогоров А.Н. Три подхода к определению понятия 
количество информации . - Проблемы передачи информации) 

1965, т. I* вып. I, с. 3 - И. 

2. Успенский В. А., Семенов А. Л. Теория алгоритмов : ее 
основные открытия и приложения. - В кн.: Алгоритмы • совре¬ 
менной математике и ее приложениях. Часть I. Новосибирск; 

ВЦ СО АН СССР, 1982, с. 99 - 342. 

3. Вьюгин В.В. Алгоритмическая энтропия (сложность) ко¬ 
нечных объектов и ее применение к определению случайности и 
количества информации. - Семиотика и информатика. М.іВИНИТИ) 

5 1981, вып. 16 ( второй выпуск за 1980 г.), с. 14 - 43, 

й""** 
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жено Шнорром, давшим определение оптимальной нумерации вы¬ 
числимых Функций ( см. [2, 4, 5^. 

Таким образом, известно много различных (хотя идейно 
весьма близких) алгоритмических вариантов понятия энтропии. 
К ним примыкают также различные варианты понятия априорной 
вероятности (см. з]). 

Цель работы - дать общее определение понятия энтропии, 
частными случаями которого являлись бы упомянутые варианты 
понятия энтропии и исследовать его свойства, а также связь о 
другими понятиями алгоритмической теории вероятностей, 
исследовать свойства ( оС , )-стохастических в смысле Кол¬ 

могорова объектов. 

Научная новизна. Определены понятия задачи и энтропии 
задачи. Установлены необходимые и достаточные условия для 
существования оптимального способа описания. Определены 
логические операции над задачами. Установлено, что всякой 
выводимой в интуиционистской логике высказываний формуле 
соответствует равномерно разрешимая э'адача* что дает воэмож- 
ность получать из выводимых формул вида у ? у 
неравенства для энтропии. 

Показано, каким образом известные алгоритмические вари- 

$скп.сгр С. Р Ос X 4 І Питёшг-Іпуд 

- Іп. : Ргс* « ІРІР ?1 , V. 1. . 

/ РШтАп іЬ' *е. > 4СІ\. 1972, р. ЧІ-Ч*. 

5". Апогг (I р Срі,іпч>2 снитегъі і СП* «и ,{ 
оріітіі СіЛЛ .‘к,..Л- 

V****" 4 -Ы.,^ , /,«7Т, ѵ X М2, р. П2 - 191. 
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анты понятия энтропии становятся частными случаями рассма¬ 
триваемого общего определения и каким образом связывающие их 
соотношения выводятся из его свойств. Исследовано понятие 
априорной вероятности с точки зрения предлагаемой схемы. 
Доказано, .что, вообще говоря, априорная вероятность не 
является максимальной перечислимой мерой, но при определѳн- 
ных условиях это так - Рассмотрена связь логарифма априорной 
вероятности с различными видами энтропии. Получено 
аксиоматическое описание некоторых видов энтропии. 
Исследованы свойства предложенного А.Н.Колмогоровым понятия 
стохастического конечного объекта. 

Приложения. Работа иооит теоретический характер. 
Полученные результаты ыогут найти приыенѳние в 
алгоритмической теории вероятностей. 

Апробация работы. Результаты работы докладывались на 

семинарах кафедры математической логики МГУ* а также на 

седьмой Всесоюзной конференции по логике и методологии 
науки. 

Публикации. Основные результаты диссертации опубли¬ 
кованы в 4 работах, список которых представлен в конце 
автореферата. 

Структура диссертации. Работа состоит из введения, 4 
глав и списка литературы, содери, его 21 иаиыенование (всего • 
133 страницы машинописного текста). 
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2. СОДЕРЖАНИЕ РАБОТЫ. 

Предлагаемое в работе определение понятия витропии 
использует .понятие ^-пространства в смысле О.Л.Ервова 
(§]♦ являющееся чрезвычайно удобным средством для 
определения вмчислимости отображений, область' определения и 
область значений которых состоят из объектов более сложной 
природы, чем натуральные числа ( функций, последовательнос¬ 
тей и т.д.) 

Другая важная идея, которую использует предлагаемое 
определение внтропии • идея интерпретации операций логики 
высказываний (конъюнкции, дизъюнкций, импликации) как опера¬ 
ций не над утверждениями, а над задачами. Эта идея была 
предложена А.Н.Колмопріми в [7] и уточнена впоследствии 
Ю.Т.Медведевым в [в]. ' Говоря неформально, задача 
определяется двумя множествами • множеством X "возможных 
ревений" задачи и его подмножеством А - множеством 
"действительно ревений". Например, задачу "перечислить все 


б. Ервов О.Л. Вгажолміе функціоналы конечных тххшв. 

- Алгебра ■ лагажа, 1972, т. II, А 4, о. 367 - 437. 

А. оіег игІиіІІОШ^ 

— Маікіп\<кІііскс 2 , 
*«***’, Ку. 32, Н. 1 , А. КА - $5. 

6.. Медведев О.Т. Финитные задачи. - Доклады АН СССР, 
1962, т. 142* б, с, ІОІЬ - 1018. 
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элементы множества $ с " можно рассматривать как 
пару таких множеств: множеством возможных решений считается 
множество всех последовательностей натуральных чисел , а 
действительными решениями считаются те последовательности, 
множеством 'значений которых лвляѳтсй множество & 


В диссертации используѳтся следующая схема определения 
энтропии. Пусть имеются два ^ 0 «пространства X и 

V . Элементы первого мы будем считать описаниями (ко¬ 
дами), а элементы второго - описываемыми (кодируемыми) 
объектами. Пусть на множестве конечных объектов простран¬ 
ства X введена функция объема (сопоставляющая каждому 
конечному объекту натуральное число). Способами описания 
будем называть вычислимые в некотором точном смысле ото¬ 
бражения { : X У . Сложность задачи 
^ X', А У в пространстве У при способе описания 
/ определяется как минимальный среди объемов тех оп¬ 
исаний ас ^ X , для которых /(*) е А . При некотор¬ 
ых условиях на пространство X среди всех способов оп¬ 
исания существует оптимальный, сложность задачи <(У } 
при оптимальном способе описания мы и назовем ѳдтропией этой 
задачи. Если X и У выбраны из числа^пространств 
№± и (^пространства натуральных чисел и простран¬ 
ства последовательностей нулей и единиц), возможны 4 вариан¬ 
та, изображенные в таблице: 


1-3 





пространство описываемых 

объектов 

і 

ІМ ± 

5 ? 

лроотранотво описаний 

ч 

§ 


№. 

К 

кк 

« 

5 ? 

КР 

км 


В ней указано» каким из упоминавшихся вике вариантов понятия 
ентропии ооотвѳТотвует возникающее при данных пространствах 
описываемых объектов и описаний понятие ентропии задачи: 

К • простая колмогоровская внтропия» КР • внтропия 
разрееенйя» КР • префиконая энтропия» ММ * монотон¬ 
ная внтропия. 

' Глава I носит вспомогательный характер и содержит 
понятия и рееультаты» в основном не являющиеся новыми (см. 
[б}), Мы сочли.нужным поместить здесь втот материал» так 
как изложение его в виде» используемом в последующих разде¬ 
лах» в литературе отсутствует. Эта глава поовлщена понятию 
«проотанотва и связанным о ним конструкциям. 

В 1.1 дается оррѳдплѳниѳ ^ 9 -пространства и вводится 
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свлэаинал о ним терминология. Именно, -пространством 
называется тройка <Х, $ , Х # > ( где X - неко¬ 
торое множество, ^ * мастичный порядок на нем» Х 0 - 

некоторое подмножество множества X ) » удовлетворяющая 
некоторым требованиям. Элементы множества X называются 
объектами, отношение ре і у читается "у продолжает 
'*" или "де есть часть у" , объекты, входящие в 
Х 9 , называются конечными. Наименьший в смысле введенно¬ 
го порядка объект называется неопределенностью и 
обозначается X . В 1.2 строятся основные примеры - 

пространств, необходимые для дальнейшего, среди них • прос¬ 
транства и 52 , упоминавшиеся выше, В п. 1,8 ввод¬ 

ится понятие полного -пространства и показывается, что 
всякое /^-пространство можно рассматривать как часть пол¬ 
ного, Это позволяет в дальнейшем ограничиваться рассмо¬ 
трением полных пространств. В 1.4 вводятся операции над 
-пространствами (произведение X * У , сумма 
X + У , пространство функций С ( X , У ) ) щ 

устанавливаются их свойства, используемые в дальнейшем. 
Чтобы определить понятие вычислимого объекта - 

пространства, нужно занумеровать его конечные объекты на¬ 
туральными числами. Пространство с такой нумерацией на¬ 
зывается эффективным /*„ -пространством, если выполнены 
некоторые естественные требования; соответствующие 

определения даны в 1.5. В эффективных пространствах ввод¬ 
ится понятие вычислимого объекта. Вычислимые объекты прос¬ 
транства • С (X, У ) естественно рассматривать как 

ц вычислиіше Отображения из X в V Они используются 


1-4 
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для определения относительной вычислимости. В п. І.б пока¬ 
зано» каким образом известные варианты понятия относительной 
вычислимости становятся частными случаями этой схемы. 
Наконец» в 1.6 на рассмотренных пространствах вводится 

объем. Этим завершается изложение необходимых сведений об 

# 

-пространствах (называемых в дальнейшем для краткости 
просто пространствами). і 

В главе 2 определяется понятие задачи» среди всех задач 
выделяются разрешимые» которые и классифицируются по труд¬ 
ности с помощью понятия энтропии. 

В п. 2.1 дается определение понятия задачи. Именно, 
задачей называется пара <( X , А )> , где X - простран¬ 

ство» а Л^ X . Среди задач выделяются монотонные 
(те» у которых любое продолжение решения есть решение) и 
разрешимые (те, у которых среди решений есть вычислимые). 

В п. 2.2 уточняется понятие способа описания объектов 
пространства У с помощью объектов пространства X - 
такими способами считаются вычислимые объекты пространства 
С (X , У ) . Если на X задан объем ^ и фик¬ 
сирован способ описания $ € У)» то сложность задачи 

К V , при способе описания { определяется как 

Ч.еыі * - Н0Н«\ИЬП4 оУ X, ?(-<) 6 а} 

В п. 2.3 даны необходимые и достаточные условия, кото¬ 
рым должно удовлетворять пространство X для того» чтобы 
при любом ^ среди всех способов описания из 
С (X, У} существовал оптимальный (дающий наименьшую с 
точностью до аддитивной константы сложность). Пространства 



X с объемом і , обладающие таким свойством» называются 
регулярными. Именно, для регулярности пространства X 
необходимо и достаточно, чтобы существовал такой способ оп¬ 
исания / ^ С ( X , X * /ИѴх) , что 

(\/п€ !Ц) 3 С ( ѴхбХ 0 ) (К{ *(*•)«■ О 

(предложение I ). Пусть X * регулярное пространство. 
Сложность задачи в пространстве У при оптимальном опо- 
собѳ описания из С(Х,Ѵ) мы называем энтропией (точнее, 
X -энтропией). Энтропия задачи оказывается конечной тог¬ 
да и только тогда» когда эта задача разрешима ( п. 2.3, 
предложение 2). . • 

В п. 2.4 приводятся примеры «.регулярных пространств, с 
объемом ( ЛѴ ± , 5? , С ). Каждому из них 

соответствует свой вид энтропии. 

Их сравнению посвящен п. 2.5. 

Предложение I.Пусть Х 1 и Х 2 - два регулярных 
пространства* ^ - монотонно возрастающая функция, 

удовлетворяющая условию Липшица. Тогда следующие свойства 
равносильны: (I) для любого пространства У существует 
такое С , что для любой задачи ы. = <Ѵ, А> справедливо 
неравенство К Хі (ы) < $ (К* М) + С'\ ' (2) 

существует такое С , что для всякого конечного объекта 

х г ^ X і выполнено неравенство 

« Хх, С. 

В п. 2.6 сравниваются энтропии задач в разных простран¬ 
ствах при одном и том же пространстве описаний. 
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’Глава 8 посвящена связи между понятием задачи и интуи¬ 
ционистской логикой вмскаэываиий. 

В п. 3.1 даются определения логических операций' над 
задачами. Именно* конъюнкцией задач оі и |? на* 
' змвается задача «< д ^ , пространством которой является 
произведение пространств задач Ы. и ^ * а реяенилми 
являются ларм < ѵ /#> * где ое • ревеиие и. , а у - 

реиениѳ ^ . Пространством задачи * р является сумма 

пространств задач и ^ * а реяенилми являются все 

решения сі и все ревенил р , Пространству задачи 

^Р является пространство непрермвнмх функций из прос¬ 
транства задачи и в пространство задачи ц , а 

рѳвениями являются те функции* значения .которых на любом 
решении задачи и являются ревенилми задачи Ц 
Логическая константа "ложь” интерпретируется как задача с 
одноэлементным пространством и пустым множеством решений, 

В п, 3.2 рассматриваются энтропии задач л р * 

**■ ѵ Р ** * 9 Р * Устанавливается* что энтропия задачи 
ѵ {2 определяется энтропиями задач •*_ и р . 

Исследуются энтропии задач «4 л р, ( энтропия пары ) и 
«4 :> р ( условная энтропия при известном 

еі. ). 

В п. 3.3 определяется интерпретация интуиционистской 
логики высказываний с помощью задач. Пусть 
Я») -формула логики высказываний* 

= < X*, Д*> , .. , -О - задачи. Тогда в 

соответствии с данными выие определениями логических опера¬ 
ций над задачами возникает задача ФЫ Л ,. , + ь ) . Прос- 



траиство этой задачи зависит только от пространств Л і 
(но на от множеств А; ). Обозначим его 
Ф ( X і ,,, , Х Л ) . Оказывается справедливой следующая 
теорема ( п. 3.3): 

Если Ф • выводимая в интуиционистской логике выска¬ 
зываний формула, то в пространстве Ф(Х±,..., Хи) 
найдется вычислимый объект І: , являющийся решением задачи 

4* 

При любых фіі, , ., • , р* п . 

Эта теорема является аналогом известного результата 
Медведева [в], устанавливающего связь интуиционистской ло¬ 
гики высказываний с финитными задачами. 

В п. 3.4 ио етой теоремы выводится ряд неравенств для 
энтропии задач (предложение I и его следствия) 

В п. 3.6 исследуется логика задач, то есть множество 
пропозициональных формул, для которых справедливо 
утверждение теоремы п. 3.3. Устанавливается, что ото мно¬ 
жество является супѳринтуиционистокой логикой, не 
совпадающей ни с интуиционистской, ни о классической 
(предложение 1 ). 

Глава 4 посвящена дальнейшему исследованию введенного, 
понятия энтропии. В п. 4.1 показано, каким образом различные 
известные варианты энтропии (простоя колмогоровская [*і], 
условная колмогоровская [I], энтропия (сложность) разрешенип 
[2], префиксная энтропия [XI» монотонная энтропия [З], номер 
чаотично рекурсивной функций при оптимальной нумерации ^2, 
4, 5^) включаются в описанную схему. 

В п. 4.2 показывается, каким образом многочисленные 



неравенстваі связывающие между собой различные виды энтро¬ 
пии» могут быть получены как следствия доказанных в главе 2 
общих теорем. Указаны нѳулучшаемыѳ оценки, связывающие 
четыре варианта энтропии из приведенной выше таблицы ( К , 
АГР , КЪ , КМ ). 

В п. 4,3 исследуется понятие априорной вероятности. 
Для каждой задачи ^ Ѵ у А > и для каждого способа оп¬ 
исания ф е С(Я, У) объектов пространства У с 
помощью двоичных последовательностей определим 
/> ((У > А» как вероятность того» что случайно взятая 
(по равномерной мере) последовательность в 5? будет оп¬ 
исанием решения задачи < V, А > . Устанавливается, что для 
любого пространства У среди всех способов описания в 
С (5?, У) существует оптимальный - тот, при котором 
Рр максимальна с точностью до ограниченного множителя. 

Функция при оптимальном $ называется априорной 

вероятностью, В пространствах А/д и 5і- она совпа¬ 
дает с максимальной перечислимой мерой (см. [З]). Мы дока¬ 
зываем (предложение .4), что аналогичное свойство выполнено 
для всех пространств» в которых любые два конечных объекта, 
имеющие общую мажоранту, сравнимы. Это условие существенно: 
в предложении 5 приводится пример, показывающий, что в прос¬ 
транстве частичных функций со значениями 0 и I априорная 
вероятность не является максимальной перечислимой мерой. 

В п. 4.4 изучается связь логарифма априорной вероятнос¬ 
ти с другими видами энтропии. 

П. 4.5 посвящен аксиоматическому описанию различных 
ендов энтропий. Именно» в нем устанавливается следующее 
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утверждение (теорема I), 

Пусть К • произвольная Функция о натуральными ар* 
гумеитами и значениями, обладающая следующими свойствами:. 
(I) множество всех х , для которых К (-*) * , 

конечно и имеет мощность, совпадающую о точностью до 
ограниченного и отделенного от нуля множителя о 

5 , (2) -функция К является пределом 

вычислимой убывающей последовательности вычислимых всюду 
определенных функций, (3) для любой вычислимой функции 
/ справедливо неравенство 

К ({(ч!) $ ( для тех об , для которых 

/М определено). Тогда функция ' К совпадает’ с 
простой колмогоровской энтропией о точностью до 
ограниченного слагаемого. 

Следствием етой теоремы является то, что если ре¬ 
гулярное пространство с объемом ведает энтропию на натураль¬ 
ном ряду, обладающую свойством (I), упомянутым в теореме, то 
ета ентропия совпадает с простой Колмогоровской, энтропией 
(с точность» ( 0(1 ) ). Сформулированные утверждения 

останутся верными, если заменить „а Ѳ(&ли) и 

лП + С(і) " 

2 на 2 * (теорема 2). 

В п. 4.6 исследуются свойства стохастических•по Колмо¬ 
горову конечных объектов. Назовем число лс ( и , Я )- 
стохастическим, если существует такое конечное множество 
А , что ** * А и справедливы соотношения 
К (А ) 5 е* и //(•*) э М^ . Здесь К(А)« 
простая колмогоровская энтропия множества Д (точнее, 
его номера в любой вычислимой нумерации), / А / - число 
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ѳлемѳнтов А 

Исследованы условия, при которых среди натуральных 
чисел заданного начального отрезка существуют 
нестохастические. Именно, установлено (при некотором 

С ). что если «у.* ♦ с, я С, 

то все натуральные числа от 0 до 2“ являются ( , р ). 

стохастическими. Воли хе *(! < и - п - С , го 
среди чисел от 0 до 2 и существуют не ( и. , Д ). 
стохастические (теорема 2). Исследованы такіе вопросы о 

доле нестохаотических объектов среди всех чисел заданного 
отрезка (теорема 3). 

3. ОСНОВНЫЕ РЕЗУЛЬТАТЫ ДИССЕРТАЦИИ 

( 

1. Построена общая схема определения понятия ентропии 
задачи, использующая понятие /*„ .пространства в -— 
О.Д.Ернова. Исследованы свойства етой схемы. Показано, 
вакии образом известные алгоритмические варианты понятия 
зитропии становятся частными случаями етой схемы. 
Установлена связь етой схемы с интуиционистской логикой. 

2. С точки зрения етой схемы исследовано понятие 
априорной вероятности. Указаны условия, при которых априор. 

ная вероятность является максимальной перечислимой по- 
лумѳрой , 

3. Дано аксиоматическое описание некоторых видов энтро¬ 
пии. 

4. Исследованы свойства стохастических по 
А.Н.Колмогорову объектов. 
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